ToolNet: Holistically-Nested Real-Time Segmentation of Robotic Surgical Tools

Real-time tool segmentation from endoscopic videos is an essential part of many computer-assisted robotic surgical systems and of critical importance in robotic surgical data science. We propose two novel deep learning architectures for automatic segmentation of non-rigid surgical instruments. Both methods take advantage of automated deep-learning-based multi-scale feature extraction while trying to maintain an accurate segmentation quality at all resolutions. The two proposed methods encode the multi-scale constraint inside the network architecture. The first proposed architecture enforces it by cascaded aggregation of predictions and the second proposed network does it by means of a holistically-nested architecture where the loss at each scale is taken into account for the optimization process. As the proposed methods are for real-time semantic labeling, both present a reduced number of parameters. We propose the use of parametric rectified linear units for semantic labeling in these small architectures to increase the regularization ability of the design and maintain the segmentation accuracy without overfitting the training sets. We compare the proposed architectures against state-of-the-art fully convolutional networks. We validate our methods using existing benchmark datasets, including ex vivo cases with phantom tissue and different robotic surgical instruments present in the scene. Our results show a statistically significant improved Dice Similarity Coefficient over previous instrument segmentation methods. We analyze our design choices and discuss the key drivers for improving accuracy.Comment: Paper accepted at IROS 201

Control of a hybrid robotic system for computer-assisted interventions in dynamic environments

International audiencePurpose Minimally invasive surgery is becoming the standard treatment of care for a variety of procedures. Surgeons need to display a high level of proficiency to overcome the challenges imposed by the minimal access. Especially when operating on a dynamic organ, it becomes very difficult to align instruments reliably and precisely. In this paper, a hybrid ro-botic system and a dedicated robotic control approach are proposed to assist the surgeon performing complex surgical gestures in a dynamic environment. Methods The proposed hybrid robotic system consists of a rigid robot arm on top of which a continuum robot is mounted in series. The continuum robot is locally actuated with McKibben muscles. A control scheme is adopted based on quadratic programming framework. It is shown that this framework allows enforcing a set of constraints on the pose of the tip, as well as of the instrument shaft, which is commanded to slide in and out through the entry point. Results Through simulation and experiments it is shown how the robot tool-tip is able to follow sinus-oidal trajectories of 0.37 Hz and 2 Hz, corresponding to motion due to breathing and heartbeat respectively, while maintaining the instrument shaft pivoting nicely about the entry point. The positioning and tracking accuracy of such system is shown to lie below 3mm in position and 5 • in angle. Herbert De Praetere is with UZ Leuven, Cardiac surgery, Conclusion The results suggest a good potential for applying the proposed technology to assist the surgeon during complex robot-assisted interventions. It is also illustrated that even when using flexible hence relatively safe end-effectors, it is possible to reach acceptable tracking behaviour at relatively high frequencies

Design and Control of Continuum Robots for Minimally Invasive Surgical Applications

Flexible robots are a rapidly expanding research field. From industrial to exploration applications, flexible robots can provide significant benefits compared to conventional robots. Their properties are also appealing for the development of surgical instrumentation. Thanks to their superior dexterity these devices can reach places that are otherwise inaccessible to the surgeon, paving the way for new and less invasive interventions. However, continuum robots require radically different controllers from those used in conventional rigid robots (rigid vs. compliant – localized joints vs. continuum deformation). In addition, in minimally invasive surgeries, the robot’s environment is invariably complex and deformable. The robot can thus not be treated isolated from its environment. This thesis investigates the design and control of flexible continuum robots for minimally invasive surgical applications.status: publishe

Résultats de la mise en oeuvre des réseaux REPHY (Réseau Phytoplancton et Phycotoxines) et SRN (Suivi Régional des Nutriments) - Zones côtières de la Manche orientale et de la baie sud de la Mer du Nord - Bilan de l'année 2021

The coastal zone of the Nord – Pas-de-Calais / Picardie showed dysfonctioning patterns of the ecosystem considered to be link to human activities along shores. These results in regular massive development of species, such as the phytoplanktonic seaweed, Phaeocystis sp. which life cycle was partly linked to nutrients availability and consequently to anthropogenic inputs. As part of the evaluation of the influence of continental inputs on the marine environment (nitrates, phosphates,…) and on potential eutrophication processes, of the estimation of the efficiency of the sewage treatments plants in the possible elimination of dumpings and in order to establish a long-term survey to follow up the change in coastal waters quality, the regional nutrients monitoring network was implemented by Ifremer in collaboration with the Agence de l'Eau Artois-Picardie in 1992 in order to complete the REPHY (Phytoplankton and Phycotoxins) monitoring programme. This study reports the main results for the year 2021 in terms of temporal change of the main physico-chemical and biological parameters characteristic of water masses sampled along three transects offshore Dunkerque, Boulogne-sur-Mer and the Bay of Somme.Le littoral Nord - Pas-de-Calais / Picardie montre de nombreux signes de dysfonctionnements induits principalement par l’activité anthropique. Ces signes se manifestent presque toujours par un déséquilibre des populations, qu’elles soient animales ou végétales. En effet, certaines espèces dominent. C’est le cas de la Prymnesiophycée Phaeocystis sp., une algue phytoplanctonique naturelle qui prolifère tous les ans au printemps. Le cycle de développement de l’espèce évolue depuis quelques années (modification de l’amplitude, de la durée et de l’extension graphique du bloom) et est fortement lié à la dynamique des sels nutritifs comme les nitrates et les phosphates par exemple. Dans le cadre de l’évaluation de l’influence des apports continentaux en éléments nutritifs sur d’éventuels processus d’eutrophisation du milieu marin, de l’estimation de l’efficacité des stations d’épuration à éliminer de telles substances et afin d’établir un suivi à long terme permettant de suivre l’évolution de la qualité des eaux littorales, le réseau de Suivi Régional des Nutriments (SRN) a été mis en place par l’Ifremer en collaboration avec l’Agence de l’Eau Artois-Picardie en 1992 afin de compléter le réseau REPHY (Réseau Phytoplancton et Phycotoxines). Ce rapport présente les principaux résultats de l’année 2021 en termes d’évolution temporelle des paramètres physico-chimiques et biologiques caractéristiques des masses d’eaux échantillonnées au niveau des points de surveillance de trois radiales situées à Dunkerque, à Boulogne-sur-Mer et en Baie de Somme

Contributions des mesures automatisées à haute fréquence de type FerryBox pour les programmes thématiques Eutrophisation et Habitats Pélagiques de la DCSMM. Campagnes 2018

Dans le cadre du programme de surveillance des descripteurs DCSMM 1HP et 5, un suivi saisonnier des paramètres physico-chimiques et biologiques liés à ces descripteurs a été mis en place à l’échelle des SRM Manche Mer du Nord et Mer Celtique en 2018. Ce suivi implique les campagnes halieutiques optimisées IBTS et CGFS ainsi que 2 campagnes dédiées DCSMM déployées par le CNRS dont la stratégie d’échantillonnage pour le D5 et D1HP a été proposée dans un précédent rapport. Parmi les outils déployés lors de ces campagnes saisonnières, les outils de mesures Hautes Fréquences automatisés de type FerryBox ont été proposés comme complément aux méthodes conventionnelles Basses Fréquences dont les données alimentent les indicateurs DCSMM. L’utilisation de ces outils a été validée lors d’une campagne d’essais techniques à bord du N/O Thalassa. Les analyses des données HF mesurées lors des différentes campagnes en 2018 montrent une répartition spatiale des mesures très variable selon les paysages marins. Certains paysages marins nécessiteraient une meilleure couverture spatiale des mesures HF. Les mailles labellisées DCSMM sont également insuffisamment échantillonnées. La caractérisation des masses d’eau par classification spectrale des mesures HF montre une bonne correspondance avec les paysages marins ce qui permettra une meilleure prise en compte des paramètres biologiques et biogéochimiques

Résultats de la mise en oeuvre des réseaux REPHY (Réseau Phytoplancton et Phycotoxines) et SRN (Suivi Régional des Nutriments). Zones côtières de la Manche orientale et de la baie sud de la Mer du Nord. Bilan de l'année 2020

The coastal zone of the Nord – Pas-de-Calais / Picardie showed dysfonctioning patterns of the ecosystem considered to be link to human activities along shores. These results in regular massive development of species, such as the phytoplanktonic seaweed, Phaeocystis sp. which life cycle was partly linked to nutrients availability and consequently to anthropogenic inputs. As part of the evaluation of the influence of continental inputs on the marine environment (nitrates, phosphates,…) and on potential eutrophication processes, of the estimation of the efficiency of the sewage treatments plants in the possible elimination of dumpings and in order to establish a long-term survey to follow up the change in coastal waters quality, the regional nutrients monitoring network was implemented by Ifremer in collaboration with the Agence de l'Eau Artois-Picardie in 1992 in order to complete the REPHY (Phytoplankton and Phycotoxins) monitoring programme. This study reports the main results for the year 2020 in terms of temporal change of the main physico-chemical and biological parameters characteristic of water masses sampled along three transects offshore Dunkerque, Boulogne-sur-Mer and the Bay of Somme.Le littoral Nord - Pas-de-Calais / Picardie montre de nombreux signes de dysfonctionnements induits principalement par l’activité anthropique. Ces signes se manifestent presque toujours par un déséquilibre des populations, qu’elles soient animales ou végétales. En effet, certaines espèces dominent. C’est le cas de la Prymnesiophycée Phaeocystis sp., une algue phytoplanctonique naturelle qui prolifère tous les ans au printemps. Le cycle de développement de l’espèce évolue depuis quelques années (modification de l’amplitude, de la durée et de l’extension graphique du bloom) et est fortement lié à la dynamique des sels nutritifs comme les nitrates et les phosphates par exemple. Dans le cadre de l’évaluation de l’influence des apports continentaux en éléments nutritifs sur d’éventuels processus d’eutrophisation du milieu marin, de l’estimation de l’efficacité des stations d’épuration à éliminer de telles substances et afin d’établir un suivi à long terme permettant de suivre l’évolution de la qualité des eaux littorales, le réseau de Suivi Régional des Nutriments (SRN) a été mis en place par l’Ifremer en collaboration avec l’Agence de l’Eau Artois-Picardie en 1992 afin de compléter le réseau REPHY (Réseau Phytoplancton et Phycotoxines). Ce rapport présente les principaux résultats de l’année 2020 en termes d’évolution temporelle des paramètres physico-chimiques et biologiques caractéristiques des masses d’eaux échantillonnées au niveau des points de surveillance de trois radiales situées à Dunkerque, à Boulogne-sur-Mer et en Baie de Somme

First Comprehensive Quantitative Multi-Parameter Assessment of the Eutrophication Status from Coastal to Marine French Waters in the English Channel, the Celtic Sea, the Bay of Biscay, and the Mediterranean Sea

The first quantitative and comprehensive assessment of the eutrophication status from coastal to offshore French waters was performed within the Marine Strategy Framework Directive (MSFD descriptor 5) for the English Channel, the southern bight of the North Sea, the Celtic Seas, the Bay of Biscay and the Western Mediterranean Sea. Based on a combination of different data sources (in situ, satellite, and modeling products), a fully-integrated dataset was generated over the period 2010–2016. Using the best available knowledge on the eutrophication process and definition, the assessment procedure was implemented considering nutrient pressures, and direct and indirect effects of excessive inputs. The different steps of the assessment were: (i) Establishment of assessment levels and thresholds, (ii) development of methodology for aggregation and integration of data, and (iii) qualification of the Environmental Status. We investigated how reliable this assessment procedure was when considering other complementary information. Results highlighted that, despite efforts in recent decades to reduced nutrient inputs, the pressure on coastal marine ecosystems was still high. We discuss options for improving the coherence between MSFD and other similar approaches and associated monitoring programs. This study identifies areas where an increased monitoring effort is needed to improve the assessment and where environmental management actions are of priority